1070. Орлов А.И., Цисарский А.Д. Модель оценки рисков проектов при создании ракетно-космической техники // Вестник НПО им. Лавочкина. 2017. №3. С. 89-94. 

УДК 629.78:330.4:519.2

А.И. Орлов, доктор технических наук, доктор экономических наук, кандидат физико-математических наук, профессор, prof-orlov@mail.ru;
А.Д. Цисарский1, кандидат технических наук, доцент, alex22081952@gmail.com

Модель оценки рисков проектов при создании ракетно-космической техники

Разработана в общем виде аддитивно-мультипликативная модель оценки рисков проектов. В двухуровневой схеме на нижнем уровне оценки рисков объединяются аддитивно, на верхнем – мультипликативно. Аддитивно-мультипликативная модель применена для оценки рисков проектов создания ракетно-космической техники. Выделено 44 частных риска на нижнем уровне и 8 – на верхнем, соответственно этапам выполнения проекта. 
Ключевые слова: риск; оценка; моделирование; проекты; ракетно-космическая техника; вероятность; экспертные процедуры.

А.I. Orlov
А.D. Tsisarskiy

Evaluation model of the programmes risks while design & development of rocket and space technologies

The general additive-multiplicative model of the projects risks evaluation is developed. In the two-level system at the lower level the risks еvaluations are combined additively, at the top level they are combined multiplicatively. The additive-multiplicative model is applied for assessment the projects risks on development of the space and rocket technologies. 44 partial risks are determined at the lower level and 8 risks are defined at the top level according to the stages of project implementation. 
Key words: risk; estimation; modelling; programmes; rocket and space technology; probability; expert procedures.
risk, estimation, modelling, projects, rocket and space technology, probability, expert procedures

Введение
Стратегия инновационного развития Российской Федерации на период до 2020 года предусматривает ускоренное развитие космической отрасли (Инновационная Россия-2020, 2010). Для его обеспечения следует решить ряд задач экономики космической деятельности (Экономика…, 2013), в числе которых разработка организационно-экономических моделей оценки рисков проектов в ракетно-космической промышленности. При моделировании жизненного цикла программы создания наукоёмкой продукции необходимо учитывать риски, специфические при создании ракетно-космической техники (РКТ) (Хрусталев Е.Ю., Хрусталев О.Е., 2012), в частности, с целью разработки систем поддержки принятия решений при парировании аварийных ситуаций (Матюшин М.М. и др., 2015). Поэтому большое значение имеет развитие технологий адаптивного управления проектами создания, эксплуатации и утилизации РКТ (Грачев И.Д., Фионов А.С., 2012). Так, для повышения эффективности реализации проектов создания перспективных образцов целесообразно применять концепцию управления требованиями (Цисарский А.Д., 2013).
Настоящая статья посвящена новому виду организационно-экономических моделей оценки рисков проектов создания ракетно-космической техники. В ней рассматриваются общий вид аддитивно-мультипликативных моделей оценки рисков, развитие подхода, предложенного авторами в (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) и (Орлов А.И., Цисарский А.Д. Аддитивно-мультипликативная модель…, 2013; Орлов А.И., Цисарский А.Д., 2014). Элементы рассматриваемого подхода уже вошли в учебные курсы МГТУ им. Н.Э. Баумана (дисциплины «Управление проектами» и «Контроллинг рисков»).
Основные элементы модели: иерархическая система рисков; экспертная оценка рисков нижнего уровня; агрегирование показателей нижележащей группы рисков для расчёта группового риска более высокого уровня; использование результатов оценивания для управления рисками; последствия срыва сроков и методы их преодоления.

1. Иерархическая система рисков
Рассматриваемый подход к оценке риска невыполнения проекта в срок основан на построении иерархической системы рисков. В работах (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) с целью моделирования особенностей оценки рисков при создании РКТ использовалась трёхуровневая иерархия: глобальный риск (риск невыполнения проекта в срок)– групповые риски – частные риски. При этом групповые риски – это риски невыполнения в срок этапов проекта. 
Для демонстрации предлагаемого подхода примем, что разработка РКТ состоит из следующих восьми этапов:
1. Концепция.
2. Разработка технического проекта (аванпроекта и эскизного проекта).
3. Разработка рабочей конструкторской документации.
4.Разработка технологической документации и техпроцессов.
5. Изготовление макета и опытных изделий (опытного образца).
6.Наземная отработка (испытания). 
7. Лётные испытания (Лаптев М.Ю. и др., 2016) и доработка документации для производства по результатам испытаний.
8. Запуск в производство.
На каждом этапе имеются те или иные частные риски. Так, на этапе 5 «Изготовление опытного образца» выделены семь частных рисков:
R14 – риск ошибок при изготовлении деталей и блоков;
R24 – риск ошибок при сборке;
R34 – риск недостатка ресурсов (станочного парка, кадровых, компьютерных, временных и др. ресурсов);
R44 – риски, связанные с невыполнением обязательств смежниками и субподрядчиками (кооперация);
R54 – организационный риск (риск срыва работ из-за плохой их организации);
R64 – риск, вызванный действиями поставщиков сырья, комплектующих, материалов (низкое качество, нарушение сроков);
R74 – внешний риск (по другим причинам).
По всем восьми этапам было выделено 44 частных риска Rij, где i– номер этапа, i=1, 2, 3,..., 8, а j – номер частного риска внутри этапа, j=1, 2,..., n(i), здесь n(i) – количество частных рисков, выделенных на этапе i (при этом n(i) менялось от 3 до 7). Перечень 44 частных рисков (с разделением по группам) приведён в статьях (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014).
Ясно, что частные риски могут быть подвергнуты декомпозиции. Так, риск R14 ошибок при изготовлении деталей и блоков может быть разложен на группу рисков, соответствующих отдельным деталям и блокам. Поскольку подобное разложение может быть проведено и для других частных рисков, указанных в статьях (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014), то трёхуровневая иерархическая система рисков может быть развёрнута до четырёхуровневой. Очевидно, можно рассмотреть и другие частные риски, например при изготовлении отдельных блоков. Тогда можно выделить отдельные ошибки, которые возможны при изготовлении конкретного блока. Следовательно, появляются частные риски на пятом уровне иерархии. 
В работах (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) выбрана трёхуровневая схема, позволяющая достаточно подробно описать многообразие рисков и в то же время достаточно быстро провести численную оценку рисков. При развитии системы риск-менеджмента может оказаться полезной детализация рисков, переход к большему числу уровней иерархии, как это в ряде случаев делают в теории надёжности (Матвеев Ю.А. и др., 2015).
Построение иерархической системы рисков проводится специалистами в предметной области на этапе применения теории риска (имеется в виду анализ риска, оценка риска, управление риском). Рассматриваемый в настоящей статье подход применим не только для оценки рисков проектов создания РКТ. В (Орлов А.И., 2014) иерархические системы рисков построены ещё в двух предметных областях – для выполнения инновационных проектов в вузах (с участием внешних партнёров) и для выпуска новых инновационных изделий. Основная идея построения иерархической системы – переход от сложного оцениваемого глобального риска к более простым групповым и от них – к частным рискам, которые могут быть оценены (например, экспертами) сравнительно легко.

2. Экспертная оценка частных рисков
Следующий за созданием иерархической системы рисков шаг – построение и применение системы экспертной оценки рисков нижнего уровня (частных рисков). 
Человеку свойственно использовать для оценки нечисловые характеристики (Орлов А.И., 2011), поэтому естественно давать оценки рисков конкретного проекта создания РКТ с помощью лингвистических переменных. Например, члены экспертной комиссии оценивают вероятность реализации риска Rij с помощью градаций лингвистической переменной Xij, выбирая её значения из списка:
– практически невозможное событие (с вероятностью не более 0,01), 
– крайне маловероятное событие (с вероятностью от 0,01 до 0,05), 
– маловероятное событие (вероятность от 0,05 до 0,10), 
– событие с вероятностью, которой нельзя пренебречь (от 0,10 до 0,20), 
– достаточно вероятное событие (вероятность от 0,20 до 0,30), 
– событие с заметной вероятностью (более 0,30). 
Ответ эксперта – одна из формулировок, представленных выше. В скобках приведены условные границы для вероятности. Их назначение – предварительная ориентация экспертов перед началом оценивания с помощью градаций лингвистической переменной.
Для проведения расчётов необходимо ввести кодировку. Её осуществляют организаторы экспертизы. Простейший вариант (принятый в настоящей статье) – перечисленным градациям присваиваются баллы 0, 1, 2, 3, 4, 5 соответственно. Может быть применена другая кодировка, например, вместо 0, 1, 2, 3, 4, 5 использованы значения 1, 10, 100, 1000, 10000, 100000.
Очевидно, система оценивания частных рисков с помощью лингвистических переменных может меняться в соответствии с конкретной задачей оценки и управления риском. В частности, могут быть изменены:
– количество градаций;
– способ оцифровки градаций;
– граничные значения для вероятностей (например, если нежелательные события являются редкими, но соответствующий им ущерб велик, то вероятность практически невозможного события должна быть не более 10−5, вместо «не более 0,01», как выше, и т.п.).
Естественно принять, что значения Xij, используемые для оцифровки градаций, неотрицательны.
Для описания лингвистических переменных напрашивается применение теории нечётких множеств (в соответствии с классической работой Л.А. Заде (Заде Л.А., 1976)). Функции принадлежности используемых нечётких множеств оцениваем с помощью экспертов, тогда Xij– нечёткие числа. Можно использовать «треугольные» нечёткие числа, у которых функция принадлежности описывается тремя числовыми параметрами a,b,c (a<b<c) и имеет треугольный вид – функция принадлежности равна 0 левее a и правее c, в точке b равна 1, на интервалах (a, b) и (b, c) линейна. Арифметические операции над такими числами описываются проще, чем для функций принадлежности общего вида.
Другое возможное обобщение – моделирование лингвистических переменных с помощью интервальных чисел (см., например, (Орлов А.И., 2006; Пантелеев А.В., Пановский В.Н., 2016)). Тогда Xij – интервал (a, b) или [a, b], (a, b], [a, b), т.е. описывается двумя числовыми параметрами a и b. В примере, рассмотренном выше, «крайне маловероятное событие» задается интервалом (0,01; 0,05]. 
Для описания частных рисков используем матрицу «вероятность – тяжесть последствий». Тяжесть последствий Aij при реализации частного риска Rij задаётся числом – коэффициентом весомости (важности, значимости, существенности) и оценивается экспертно. Итак, у риска Rij выделяем две характеристики – показатель вероятности Xij и показатель тяжести последствий Aij. Итоговая оценка Qij частного риска Rij имеет вид Qij=AijXij, где Aij – показатель весомости, например оценка экономических потерь, вызванных данным видом риска, Xij– показатель выраженности (распространённости). Эта формула обобщает известный способ оценки риска как произведения среднего ущерба (математического ожидания ущерба) на вероятность нежелательного события.

3. Агрегирование оценок рисков
Как из оценок рисков, входящих в определённую группу на нижнем уровне, получить оценку риска верхнего уровня? (Точнее, речь идёт о подъёме на один уровень в иерархической системе рисков.) Рассмотрим агрегирование оценок рисков, т.е. построение обобщённого показателя, «рейтинга» риска более высокого уровня, усредняющего оценки рисков более низкого уровня.
В (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) частные риски (риски нижнего уровня) агрегировались аддитивно, в то время как групповые риски – мультипликативно. Отсюда и название модели – аддитивно-мультипликативная.
Для i-й группы рисков оценка Qi группового риска Ri рассчитывается как сумма оценок Qij частных рисков:
Qi=Qi1+Qi2+…+Qin(i)=Аi1Хi1+Аi2Хi2+...+Аin(i)Хin(i),
т.е. агрегирование проводится аддитивно. Значения факторов Хi1, Хi2...Хin(i) оценивают эксперты для каждого конкретного проекта создания РКТ, в то время как значения коэффициентов весомости Аi1, Аi2...Аik(i) задаются одними и теми же для всех проектов – по результатам специально организованного экспертного опроса.
С оценкой Qi группового риска Riсвязана вероятность Pi успешного выполнения i-го этапа, а именно Pi=1−Qi, или 
Pi=1−Аi1Хi1−Аi2Хi2−...−Аin(i)Хin(i).
Вероятность Pi должна быть неотрицательна при всех возможных значениях Хi1, Хi2...Хik(i). Если все оценки факторов риска (частных рисков) принимают свои максимальные значения, то и оценка Qi группового риска Ri должна принять своё максимальное значение, равное 1 (а вероятность Pi соответственно минимальное значение 0). Следовательно, коэффициенты весомости (важности) должны удовлетворять условию
Аi1maxХi1+Аi2maxХi2+...+Аik(i)maxХin(i)=1.
В рассмотренном выше варианте оцифровки максимальные значения Xij равны 5. Следовательно, сумма Аi1, Аi2...Аin(i) должна равняться 1/5=0,2.
В рассматриваемой модели принято, что события, относящиеся к различным группам рисков, независимы в смысле теории вероятностей. Поскольку успешное выполнение проекта возможно тогда и только тогда, когда все этапы выполнены, то вероятность P выполнения проекта в срок равна произведению всех вероятностей Pi успешного выполнения этапов, т.е. агрегирование проводится мультипликативно:
P=P1P2...Pт=(1−Q1)(1−Q2)...(1−Qm),
где m– число этапов (в просчитанных в (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) моделях разработка РКТ состоит из восьми этапов, m=8; в рассмотренных в (Орлов А.И., 2014) модели выполнения инновационных проектов в вузах (с участием внешних партнёров) и модели выпуска новых инновационных изделий выделено четыре группы рисков, а потому m=4).
Оценка Q риска невыполнения проекта в срок – это дополнение до 1 вероятности успешного выполнения проекта P, т.е. Q=1−P. Именно эта величина является основной при принятии управленческих решений.
Некоторые обоснования именно такого способа усреднения оценок частных рисков, как описано выше, приведены в (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014).
В теории принятия решений разработаны различные методы агрегирования – построения обобщённых (интегральных) показателей, рейтингов (Орлов А.И., 2006; Лындина М.И., Орлов А.И., 2015). В организационно-экономической модели оценки рисков проектов перспективными представляются методы агрегирования оценок частных и групповых рисков с помощью степенных средних, средних по Колмогорову, взвешенных медиан I и II типов, а также методы агрегирования с отсечением недопустимо больших значений оценок частных и групповых рисков (т.е. обнаружение подобного недопустимо большого значения приводит к заключению о невыполнении проекта в срок) и др. Перечисленные методы агрегирования могут быть использованы при дальнейшем развитии организационно-экономической модели оценки рисков проектов.

4. Перспективные методы агрегирования
Пусть необходимо агрегировать оценки рисков x1, x2…xn. При их упорядочении получаем вариационный ряд x(1)<x(2)<x(3)<…<x(n).
При реальных расчётах применяют средние двух типов. Первый тип – степенные средние, частными случаями которых являются среднее арифметическое, среднее квадратическое, среднее гармоническое. Среднее геометрическое является пределом степенного среднего, когда показатель степени стремится к 0. Более общим видом средних являются средние по Колмогорову

где F – строго монотонная функция; F−1 – обратная к ней. 
Второй тип – структурные средние, прежде всего медиана и мода, а также члены вариационного ряда, минимум, максимум, квартили, децили. 
Применение теории измерений позволило установить, как выбирать средние в соответствии со шкалами, в которых измерены исходные данные (Орлов А.И., 2011; Орлов А.И., 2006). Так, для данных, измеренных в порядковой шкале, допустимыми средними являются только члены вариационного ряда. В частности, при нечётном объёме выборки – выборочная медиана, при чётном – левая и правая медианы (т.е. два центральных члена вариационного ряда). В шкале интервалов из всех средних по Колмогорову можно использовать только среднее арифметическое. В шкале отношений из всех средних по Колмогорову допустимы только степенные средние и среднее геометрическое.
Взвешенные средние (синоним: средние взвешенные) – это средние величины, в которых усредняемые величины учитываются по-разному, в соответствии с весовыми коэффициентами. Выделим два типа взвешенных средних. Для средних I типа весовые коэффициенты соответствуют элементам выборки. Для средних II типа весовые коэффициенты соответствуют членам вариационного ряда.
Пусть a1, a2…an – весовые коэффициенты (веса), т.е. неотрицательные числа, в сумме составляющие 1. Удобно ввести случайные величины X(a1, a2…an) и Y(a1, a2…an), такие, что P(X=x1)=a1, P(X=x2)=a2…P(X=xn)=an, в то время как P(Y=x(1))=a1, P(Y=x(2))=a2…P(Y=x(n))=an. Таким образом, случайные величины X и Y принимают одни и те же значения (перечисленные в наборе x1, x2…xn), но, вообще говоря, с разными вероятностями. Если все веса равны между собой (и равны 1/n), то распределения случайных величин X и Y совпадают (и называются эмпирическим распределением). 
Взвешенные средние легко определить с помощью введённых случайных величин X и Y. Среднее взвешенное арифметическое I типа – это математическое ожидание X, т.е. 
									(1)
Среднее взвешенное арифметическое II типа – это математическое ожидание Y, т.е.
									(2)
Ясно, что результаты расчётов по формулам (1) и (2), вообще говоря, различны.
Среднее взвешенное по Колмогорову I типа – это

Среднее взвешенное по Колмогорову II типа – это

Аналогично вводятся выборочная взвешенная медиана I типа – медиана случайной величины X, вероятности совпадения которой с элементами выборки равны заданным весам, и выборочная взвешенная медиана II типа – медиана случайной величины Y, вероятности совпадения которой с членами вариационного ряда равны заданным весам.
При использовании взвешенных средних величин в задачах системного анализа и принятия решений необходимо указывать тип средних, поскольку от него зависят численные значения. В МГТУ им. Н.Э. Баумана при преподавании дисциплины «Прикладная статистика» и в МФТИ при преподавании дисциплины «Методы анализа данных» понятия средних взвешенных величин I типа и II типа входят в учебные программы, однако в научной и учебной литературе разделение средних взвешенных величин I типа и II типа нам не встречалось. Разделение необходимо, поскольку для одних и тех же исходных числовых данных значения одноименных средних взвешенных I и II типов различаются, что при практической работе может привести к недоразумениям.

5. Использование результатов оценивания при управлении рисками
Оценка Q риска невыполнения проекта в срок даёт лицу, принимающему решение (ЛПР), основание для принятия тех или иных управленческих решений (Матюшин М.М. и др., 2015). Если оценка указанного риска мала (например, 1%), то ЛПР может ограничиться контролем за выполнением этапов проекта. Если оценка Q риска составляет 80–90%, то сроки выполнения проекта следует признать нереальными, а потому необходимы кардинальные управленческие решения. 
Управление рисками может проводиться не только на основе оценки Q риска невыполнения проекта в целом, но и на анализе влияний оценок частных и групповых рисков на итоговый риск Q. Целесообразно принять меры по снижению наиболее заметных влияний, т.е. по снижению конкретных групповых, а затем и частных рисков. Так, в приведённом выше примере этапа 4 «Изготовление опытного образца» могут быть приняты меры по снижению частных рисков, например, усилен контроль при изготовлении деталей и блоков (с целью уменьшения риска R14); проведено дополнительное обучение сборщиков (это позволит уменьшить риск R24); проанализирована потребность в ресурсах (производственных, материальных, кадровых, временных и др.) и при необходимости увеличены выделяемые ресурсы – с целью уменьшения риска R34 недостатка ресурсов; отработаны взаимоотношения со смежниками и субподрядчиками, поставщиками сырья, комплектующих, материалов (это позволит уменьшить риски R44 и R64), и т.д.
Подходы киберинформатики (Глазов Б.И., 2016) позволяют поставить и решить оптимизационную задачу по распределению имеющихся ресурсов с целью максимально возможного снижения итогового риска путём воздействия на доступные управлению частные риски, как это было сделано при разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий (Хрусталев С.А. и др., 2013).
В работах (Орлов А.И., Цисарский А.Д. Особенности…, 2013; Орлов А.И., 2014) рассмотрена последовательность этапов выполнения проекта по созданию РКТ. Срыв сроков выполнения определённого этапа приводит к необходимости изменения сроков дальнейших этапов. Принято предположение, что при срыве этапа он повторяется и при этом обязательно выполняется (можно провести более сложные прогнозные исследования (Матвеев Ю.А. и др., 2015), в которых повторное выполнение этапа приводит к успеху не наверняка, а лишь с некоторой вероятностью). 

Заключение
Отличительная особенность рассмотренного в настоящей статье подхода состоит в том, что он основан на построении трёхуровневой иерархической системы рисков. Выбранная трёхуровневая схема позволяет достаточно подробно описать многообразие рисков и в то же время быстро провести их численную оценку. При необходимости трёхуровневая иерархическая система рисков может быть развёрнута до четырёхуровневой и даже пятиуровневой схемы. Декомпозиция риска верхнего уровня даёт систему рисков, образующих группу рисков более низкого уровня иерархии.
Анализ оценки 44 рисков, приведённых в работе (Цисарский А.Д., 2013; Орлов А.И., Цисарский А.Д. Особенности…, 2013), показывает, что отдельные риски второго порядка вносят в риски по этапам заметно больший вклад, чем другие риски на тех же этапах. Полученные результаты демонстрируют возможность оценки и управления такими рисками. Предлагаемый подход и разработанная математическая модель могут быть полезны проектным менеджерам, осуществляющим деятельность в ракетно–космической промышленности.
Авторы благодарны Д.Б. Пайсону за полезные замечания. 

Список литературы
Глазов Б.И. Рационализация информационных мер процессов в воздушно-космической киберинформатике // Вестник НПО им. С.А. Лавочкина. 2016. № 4. С. 96-102.
Грачев И.Д., Фионов А.С. Развитие технологий адаптивного управления проектами создания, эксплуатации и утилизации ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2012. № 42 (183). С. 2-14.
Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 165 с.
Инновационная Россия-2020 (Стратегия инновационного развития РФ на период до 2020 года). М.: Минэкономразвития России, 2010. 105 с.
Лаптев М.Ю., Ли Е.К., Нетребенко Р.В., Чулин А.Н. Оценка погрешности ориентации и стабилизации космического аппарата на различных участках орбиты по результатам лётных испытаний // Вестник НПО им. С.А. Лавочкина. 2016. № 3. С. 96-103.
Лындина М.И., Орлов А.И. Математическая теория рейтингов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 114. С. 1-26.
Матвеев Ю.А., Ламзин В.А., Ламзин В.В. Исследование влияния надежности модификаций КА на программу развития космической системы // Вестник НПО им. С.А. Лавочкина. 2015. № 1. С. 41-47.
Матвеев Ю.А., Ламзин В.А., Ламзин В.В. Метод прогнозных исследований эффективности модификаций КА при комплексной замене подсистем // Вестник НПО им. С.А. Лавочкина. 2015. № 4. С. 53-59.
Матюшин М.М., Мишурова Н.В., Скобелев П.О., Ларюхин В.Б. Поддержка принятия решений при парировании аварийных ситуаций на борту Международной космической станции с использованием интеллектуальных технологий (окончание) // Вестник НПО им. С.А. Лавочкина. 2015. № 2. С. 52-57.
Орлов А.И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно-космической техники // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 102. С. 78-111.
Орлов А.И. Организационно-экономическое моделирование. Ч. 2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с.
Орлов А.И. Теория принятия решений. М.: Экзамен, 2006. 576 с.
Орлов А.И., Цисарский А.Д. Аддитивно-мультипликативная модель оценки рисков и ее применение при разработке инновационно-инвестиционных проектов создания ракетно-космической техники // Проблемы управления безопасностью сложных систем: Труды ХХI Международной конференции. Москва, декабрь 2013 г. / Под ред. Н.И. Архиповой, В.В. Кульбы. М.: РГГУ, 2013. С. 394-398.
Орлов А.И., Цисарский А.Д. Особенности оценки рисков при реализации инновационно-инвестиционных проектов в космической отрасли // Актуальные проблемы российской космонавтики. Материалы XXXVIII Академических чтений по космонавтике. Москва, январь 2014 г. / Под общей редакцией А.К. Медведевой. М.: Комиссия РАН по разработке научного наследия пионеров освоения космического пространства, 2014. С. 210-210.
Орлов А.И., Цисарский А.Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2013. № 43 (232). С. 37-46.
Пантелеев А.В., Пановский В.Н. Прикладное применение интервального метода взрывов для поиска оптимального программного управления солнечным парусом // Вестник НПО им. С.А. Лавочкина. 2016. № 4. С. 110-117.
Хрусталев Е.Ю., Хрусталев О.Е. Моделирование жизненного цикла программы создания наукоемкой продукции // Экономический анализ: теория и практика. 2012. № 16 (271). С. 2-12.
Хрусталев С.А., Орлов А.И., Шаров В.Д. Математические методы оценки эффективности управленческих решений // Заводская лаборатория. Диагностика материалов. 2013. Т. 79, № 11. С. 67-72.
Цисарский А.Д. Повышение эффективности реализации проектов по созданию перспективных образцов ракетно-космической техники на основе концепции Requirements Engineering // Национальные интересы: приоритеты и безопасность. 2013. № 31. С. 25-29.
Экономика космической деятельности / Под ред. Г.Г. Райкунова. М.: Физматлит, 2013. 568 с.
Статья поступила в редакцию 15.02.2017 г.